Theo nhiều dự đoán, pháo đài bị nhà Mogul chiếm từ nhà Lodhi cuối thế kỷ 16 bởi Akbar Đại đế. Trong thời kỳ trị vì của mình, ông đã dời đô của đế quốc mình từ Delhi đến Agra. Nhờ sự dời đô này mà Agra đã trở nên thịnh vượng. Akbar cho xây pháo đài bằng đá cát đỏ và cẩm thạch trắng làm trang trí.

Nhưng phải đến thời kỳ trị vì của cháu Akbar là Shah Jahan thì khu vực này mới có hình dạng như ngày nay. Shah Jahan xây đền Taj Mahal cho vợ. Không giống như ông của mình, Shah Jahan thì thích xây bằng đá cẩm thạch, dát bằng vàng hoặc đá bán quý. Ông đã cho phá hủy một số công trình bên trong để xây lại theo ý mình.

Vào lúc cuối đời, Shah Jahan bị con trai là Aurangzeb tống giam vào tù bên trong pháo đài - một hình phạt có lẽ không khắc nghiệt lắm vì pháo đài này rất xa hoa. Người ta đồn rằng Shah Jahan qua đời ở Muasamman Burj, một ngôi tháp với các ban-công bằng cẩm thạch với tầm nhìn tuyệt vời ra Taj Mahal.

Pháo đài này cũng là chiến trường trong Cuộc binh biến Ấn Độ năm 1857, chấm dứt sự cai trị của Công ty Đông Ấn Anh ở Ấn Độ và dẫn đến sự cai trị trực tiếp Ấn Độ trong một thế kỷ bởi Vương quốc Anh.

• Bên trong Musamman Burj, nơi Shah Jahan trải qua 7 năm cuối đời bị quản thúc tại gia bởi con trai mình là Aurangzeb
• Mur d'enceinte du Fort Rouge d'Âgrâ
• Cổng thứ hai của pháo đài
• Cổng thứ ba của pháo đài, derrière se trouve la mosquée.